home *** CD-ROM | disk | FTP | other *** search
/ Collection of Internet / Collection of Internet.iso / infosrvr / dev / www_talk.930 / 001512_daemon _Wed Jun 30 22:07:58 1993.msg < prev    next >
Internet Message Format  |  1994-01-24  |  2KB
  1. Received: by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  2.     id AA12469; Wed, 30 Jun 93 22:08:00 MET DST
  3. Errors-To: sanders@bsdi.com
  4. Return-Path: <sanders@bsdi.com>
  5. Received: from dxmint.cern.ch by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  6.     id AA12465; Wed, 30 Jun 93 22:07:58 MET DST
  7. Errors-To: sanders@bsdi.com
  8. Received: from austin.BSDI.COM by dxmint.cern.ch (5.65/DEC-Ultrix/4.3)
  9.     id AA07882; Wed, 30 Jun 1993 22:31:11 +0200
  10. Received: from localhost by austin.BSDI.COM (5.67/1.37)
  11.     id AA09977; Wed, 30 Jun 93 15:30:52 -0500
  12. Message-Id: <9306302030.AA09977@austin.BSDI.COM>
  13. To: www-talk@nxoc01.cern.ch
  14. Subject: Re: searchable index of the web 
  15. In-Reply-To: Your message of Wed, 30 Jun 93 15:59:37 EDT.
  16. Errors-To: sanders@bsdi.com
  17. Reply-To: sanders@bsdi.com
  18. Organization: Berkeley Software Design, Inc.
  19. Date: Wed, 30 Jun 1993 15:30:47 -0500
  20. From: Tony Sanders <sanders@bsdi.com>
  21.  
  22. > > I have written a perl script that wanders the WWW collecting URLs, keeping
  23. > > tracking of where it's been and new hosts that it finds.  Eventually,
  24. Darn, I wanted to do that.  So, how "big" is the Web?  Can you figure out
  25. stuff like "width" (distance between documents)?
  26.  
  27. Wouldn't it be better if you could just ask each server for it's
  28. connectivity? Seems like this would make things run a **lot** faster.
  29. Since each server has local access to all the information it could
  30. just find all the HREFs real quick, unique them and report to
  31. someone else.
  32.  
  33. >>>> Dale & TimBL <<<<
  34. This would be a good topic to cover at the workshop.
  35.  
  36. I was shocked to see how few home pages I've visted.  I really need to
  37. get out more often :-)  Then I noticed that they all have the :port
  38. which mans it's not the same.  Marc, when doing annotations and
  39. checking the "visited" list maybe you should ignore :80 on http:
  40. servers?
  41.  
  42. We need to do something anyway.  With annotations you can get really
  43. lost in the Web.
  44.  
  45. --sanders